Sau khi Sherman chiếm được Savannah, ông được lệnh của Grant đưa quân xuống tàu đến tăng cường cho quân miền Bắc tại Virginia, ở đó Grant đang gặp nhiều khó khăn trong cuộc bao vây Petersburg trước Robert E. Lee. Sherman đã đề xuất một chiến lược khác thay thế. Ông thuyết phục Grant cho tiến quân lên phía bắc qua vùng Carolinas, phá hủy mọi khí tài quân sự trên đường đi, giống như trong cuộc tiến quân ra biển qua Georgia. Ông đặc biệt hứng thú với mục tiêu Nam Carolina, tiểu bang đầu tiên ly khai ra khỏi Liên bang, nơi có ảnh hưởng mạnh mẽ đến tinh thần của toàn miền Nam.[49]

Kế hoạch của Sherman là bỏ qua các đội quân nhỏ của miền Nam tập trung ở Augusta, Georgia và Charleston, Nam Carolina để tiến đến Goldsboro, Bắc Carolina trước ngày 15 tháng 3 năm 1865, tại đó ông sẽ hợp nhất với lực lượng của các tướng John M. Schofield và Alfred H. Terry. Như trong chiến dịch Georgia, ông chia quân đội của mình ra nhiều hướng tiến công đồng thời, khiến cho lực lượng phòng thủ rải rác của miền Nam không thể đoán được mục tiêu thật sự của mình, là thủ phủ Columbia. Ngày 17 tháng 2, Columbia đầu hàng Sherman. Lửa bắt đầu bùng lên, và phần lớn khu trung tâm thành phố đã bị phá hủy hoàn toàn. Vụ cháy thành Columbia đã gây ra nhiều tranh cãi cho đến tận bây giờ, nhiều người cho rằng đó là một tai nạn, số khác khẳng định là một hành động hận thù có chủ ý. Cùng ngày hôm đó, quân miền Nam bỏ chạy khỏi Charleston. Ngày 18 tháng 2, quân của Sherman đã phá hủy gần như tất cả vật chất khí tài quân sự tại Columbia. Cảng biển quan trọng cuối cùng của miền Nam, cảng Wilmington, cũng đầu hàng ngày 22 tháng 2.[50]

Tổng thống miền Nam Jefferson Davis cùng tướng Robert E. Lee (lúc này đã được phong chức tổng tư lệnh) đã chỉ định Johnston làm tổng chỉ huy các lực lượng miền Nam tại vùng Carolinas (thay vì tướng Beauregard vì họ cho rằng ông ta không đủ khả năng đối phó được với sự đe dọa này của miền Bắc), bao gồm những gì còn lại của Binh đoàn Tennessee. Tập trung tất cả lực lượng của mình dưới cái tên Binh đoàn miền Nam, Johnston đã tấn công đối phương trong trận Bentonville (19 – 21 tháng 3), tại đó ông đã không thành công trong cố gắng đánh bại một cánh quân của Sherman dưới quyền Henry W. Slocum trước khi nó tới Goldsboro hoặc tập hợp với cánh quân của Oliver O. Howard. Dù cuộc tấn công ban đầu của miền Nam áp đảo được trận tuyến đầu tiên của miền Bắc, nhưng Slocum vẫn tập hợp được đủ quân để chống cự cho đến khi Howard tới chiến trường trong đêm đó. Johnston đóng quân lại tại đó thêm 2 ngày, với hy vọng giành được một thắng lợi tương tự như trận Kennesaw Mountain, nhưng rồi sau đó đã rút về Raleigh và bị Sherman truy kích.[51]

Ngày 11 tháng 4, Johnston nhận được tin Đại tướng Robert E. Lee đã đầu hàng tại làng Appomattox Court House; ông liền gửi một thông điệp cho Sherman đề nghị các điều kiện đầu hàng. Ngày 18 tháng 4, 3 ngày sau vụ ám sát Abraham Lincoln, Johnston đã ký giấy đình chiến với Sherman tại Bennett Place, một tòa nhà trang trại ở gần nhà ga Durham. Sherman đã tự đưa mình vào một rắc rối chính trị khi tự ý đặt các điều khoản đầu hàng với Johnston bao gồm cả những vấn đề chính trị cũng như quân sự mà không có sự cho phép của tướng Grant hay chính phủ Hoa Kỳ. Vấn đề rắc rối này kéo dài cho đến ngày 26 tháng 4, khi mà Johnston đồng ý với tất cả các điều khoản quân sự (tương tự những điều kiện mà tướng Lee đã nhận tại Appomattox Court House), và chính thức giao lại toàn bộ quân đội của mình cũng như của các lực lượng miền Nam tại Carolinas, Georgia, và Florida.[52]

Vẫn còn những trận đánh khác diễn ra trong thời gian này: thiếu tướng James H. Wilson, chỉ huy quân đoàn kỵ binh của Phân bộ Quân sự Mississippi, đã mở một cuộc đột kích tại trung Alabama vào cuối tháng 3 nhằm phá hủy các khu công nghiệp còn lại của miền Nam tại đó, nhất là Elyton và Selma. Lực lượng duy nhất còn lại chống cự với Wilson là quân đoàn kỵ binh của tướng Nathan B. Forrest. Elyton rơi vào tay quân miền Bắc ngày 29 tháng 3, trước khi Forrest có đủ thời gian tập hợp lực lượng của mình; Selma cũng bị chiếm sau trận Selma ngày 2 tháng 4, đây là trận thất bại cuối cùng của Forrest. Sau khi phá hủy các công xưởng và đường xe lửa tại Selma, Wilson tiếp tục tiến về phía đông đến Georgia. Ông ta chiếm cây cầu bắc qua sông Chattahoochee tại Columbus, Georgia, sau một trận đánh, rồi tiến đến Macon; tại đây ngày 21 tháng 4, ông nhận được lệnh của Sherman phải "chấm dứt các hành động chiến tranh và tàn phá cho đến khi nghe được tin chiến sự tiếp diễn".[53]

Vào giữa tháng 3, thiếu tướng Edward R. S. Canby, tư lệnh Phân bộ Quân sự Tây Mississippi, đã đổ bộ gần cửa ngõ Mobile Bay và tiến dọc theo bờ biển phía đông đến Spanish Fort, sau đó Binh đoàn Tây Mississippi bắt đầu bao vây thị trấn ngày 27 tháng 3. Ngày 1 tháng 4, quân miền Bắc do Frederick Steele chỉ huy đã tới bằng đường bộ từ Pensacola và bắt đầu bao vây đồn Blakely. Đến ngày 8 tháng 4, quân miền Bắc bắt đầu pháo kích Spanish Fort với 90 khẩu pháo rồi cho bộ binh tấn công đánh tan quân phòng thủ miền Nam tại đây. Ngày hôm sau Canby hành quân đến đồn Blakely, chiếm đóng đồn này. Những trận đánh này đã buộc viên tư lệnh quân miền Nam tại Mobile là thiếu tướng Dabney H. Maury phải rút bỏ thành phố.[54]

Khi nhận được tin Lee và Johnston đã đầu hàng, trung tướng Richard Taylor, tư lệnh Cục Alabama, Mississippi, và Đông Louisiana của miền Nam, cũng ra hàng tướng Canby ngày 4 tháng 5, còn Forrest chính thức đầu hàng ngày 9 tháng 5. Kỵ binh của Wilson chính thức tiếp quyền kiểm soát Tallahassee, Florida ngày 20 tháng 5, đây là thủ phủ bang cuối cùng ở phía đông sông Mississippi của miền Nam bị chiếm đóng. Một bộ phận độc lập trong lực lượng kỵ binh của Wilson đã bắt giữ được Tổng thống Liên minh miền Nam Jefferson Davis ngày 10 tháng 5 ở gần Irwinville, Georgia.[55]